Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.
translated by 谷歌翻译
在这项研究中，提出了用于实现连续值梯度聚合的数字空地计算方案。结果表明，可以使用相应的数字的平均值来计算一组实价参数的平均值，其中数字是根据平衡数字系统获得的。通过使用此属性，提出的方案将局部梯度编码为一组数字。然后，它通过使用数字值来确定激活的正交频分多路复用（OFDM）子载波的位置。为了消除需要精确的样本级时同步，通道估计开销和由于通道倒置而引起的功率不稳定性，提出的方案还使用Edge Server（ES）的非连接接收器，并且不利用Pre-Pre-Pre-pre-pre-边缘设备（EDS）处的均等化。最后，得出了所提出的方案的理论均衡误差（MSE）性能，并展示了其在联合边缘学习（FEES）的性能。
translated by 谷歌翻译
在这项研究中，我们提出了一种通用同步方法，该方法允许一组软件定义的无线电（SDR）传输或接收具有精确时机的任何相相/正交数据，同时在相应的伴随计算机中保持基本处理。所提出的方法依赖于在接收方向和传输方向中检测同步波形，并与处理系统共同控制直接内存访问块。通过在一组低成本SDR上实施这种同步方法，我们证明了基于频率键合（FSK）的多数票（MV）的性能，即用于联合边缘学习的空中计算方案，介绍相应的过程。我们的实验表明，对于均质和异质数据分布而无需在边缘设备上使用通道状态信息，测试精度可以达到95％以上。
translated by 谷歌翻译
Recent advances in deep learning have enabled us to address the curse of dimensionality (COD) by solving problems in higher dimensions. A subset of such approaches of addressing the COD has led us to solving high-dimensional PDEs. This has resulted in opening doors to solving a variety of real-world problems ranging from mathematical finance to stochastic control for industrial applications. Although feasible, these deep learning methods are still constrained by training time and memory. Tackling these shortcomings, Tensor Neural Networks (TNN) demonstrate that they can provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. Besides TNN, we also introduce Tensor Network Initializer (TNN Init), a weight initialization scheme that leads to faster convergence with smaller variance for an equivalent parameter count as compared to a DNN. We benchmark TNN and TNN Init by applying them to solve the parabolic PDE associated with the Heston model, which is widely used in financial pricing theory.
translated by 谷歌翻译
2022-10-17
An activation function has a significant impact on the efficiency and robustness of the neural networks. As an alternative, we evolved a cutting-edge non-monotonic activation function, Negative Stimulated Hybrid Activation Function (Nish). It acts as a Rectified Linear Unit (ReLU) function for the positive region and a sinus-sigmoidal function for the negative region. In other words, it incorporates a sigmoid and a sine function and gaining new dynamics over classical ReLU. We analyzed the consistency of the Nish for different combinations of essential networks and most common activation functions using on several most popular benchmarks. From the experimental results, we reported that the accuracy rates achieved by the Nish is slightly better than compared to the Mish in classification.
translated by 谷歌翻译
多项式网络（PNS）最近在面部和图像识别方面表现出了有希望的表现。但是，PNS的鲁棒性尚不清楚，因此获得证书对于使其在现实世界应用中的采用至关重要。基于分支和绑定（BAB）技术的Relu神经网络（NNS）上的现有验证算法不能微不足道地应用于PN验证。在这项工作中，我们设计了一种新的边界方法，该方法配备了BAB，用于全球融合保证，称为VPN。一个关键的见解是，我们获得的边界比间隔结合的传播基线更紧密。这可以通过MNIST，CIFAR10和STL10数据集的经验验证进行声音和完整的PN验证。我们认为我们的方法对NN验证具有自身的兴趣。
translated by 谷歌翻译
动作识别是提高物理康复设备自治的重要组成部分，例如可穿戴机器人外骨骼。现有的人类行动识别算法的重点是成人应用，而不是小儿应用。在本文中，我们介绍了BabyNet，这是一个轻量重量（就可训练的参数而言）的网络结构，以识别婴儿从外体固定摄像机中采取行动的婴儿。我们开发了一个带注释的数据集，其中包括在不受约束的环境中的不同婴儿（例如，在家庭设置等）中的坐姿中执行的各种范围。我们的方法使用带注释的边界框的空间和时间连接来解释和抵消到达的开始，并检测到完整的到达动作。我们评估了我们提出的方法的效率，并将其性能与其他基于学习的网络结构进行比较，以捕获时间相互依存的能力和触及发作和偏移的检测准确性。结果表明，我们的婴儿网络可以在超过其他较大网络的（平均）测试准确性方面达到稳定的性能，因此可以作为基于视频的婴儿获得动作识别的轻量重量数据驱动框架。
translated by 谷歌翻译
在本文中，我们提出和分析了非凸复合目标的零阶优化算法，重点是降低复杂性依赖性对维度的依赖性。这是通过使用带有熵函数的随机镜下降方法利用决策集的低维结构来实现的，该方法在配备最大规范的空间中执行梯度下降。为了改善梯度估计，我们用基于Rademacher分布的采样方法替换了经典的高斯平滑法，并表明Mini Batch方法与非欧几里得几何形状相抵抗。为了避免调整超参数，我们分析了一般随机镜下降的自适应步骤，并表明所提出算法的自适应版本收敛而无需对问题进行先验知识。
translated by 谷歌翻译
本文提出了一个新的算法系列，用于在线优化复合目标。该算法可以解释为凸起梯度和$ p $ - 纳米算法的组合。结合适应性和乐观的算法思想，所提出的算法获得了序列依赖的遗憾上限，与稀疏目标决策变量的最著名界限相匹配。此外，该算法具有对流行的复合目标和约束的有效实现，并且可以通过最佳加速速率转换为随机优化算法，以实现流畅的目标。
translated by 谷歌翻译
部分微分方程（PDE）用于对科学和工程中的各种动力系统进行建模。深度学习的最新进展使我们能够以新的方式解决维度的诅咒，从而在更高的维度中解决它们。但是，深度学习方法受到训练时间和记忆的约束。为了解决这些缺点，我们实施了张量神经网络（TNN），这是一种量子启发的神经网络体系结构，利用张量网络的想法来改进深度学习方法。我们证明，与经典密集神经网络（DNN）相比，TNN提供了明显的参数节省，同时获得了与经典密集的神经网络相同的准确性。此外，我们还展示了如何以相同的精度来比DNN更快地训练TNN。我们通过将它们应用于求解抛物线PDE，特别是Black-Scholes-Barenblatt方程，该方程广泛用于金融定价理论，基于基准测试。还讨论了进一步的例子，例如汉密尔顿 - 雅各比 - 贝尔曼方程。
translated by 谷歌翻译